Towards Consistent Video Geometry Estimation
面向一致视频几何估计的统一基础模型 ViGeo
🧭 视频几何估计 · 动态分块注意力
Zhejiang University · Tongyi Lab, Alibaba Group · Shanghai Jiao Tong University · Fudan University
通过动态分块注意力实现流式与全序列视频几何估计的统一模型,并引入补全式数据精炼提升监督质量
📌 工作参考价值(4 点)
- 动态分块注意力允许同一模型在训练后无缝切换双向/因果注意力模式,适合构建既能离线全量处理又能在线流式推理的序列模型(如用户行为序列建模),避免重复训练。
- 补全式数据精炼框架利用教师模型从稀疏、有噪标注生成稠密且时序一致的真值,可迁移至推荐系统中含噪 implicit feedback 或稀疏行为序列的伪标签生成,提升训练数据质量。
- 统一预测深度、法线、点图的多任务设计启示:在推荐模型中可对点击、转化、时长等多目标共享 backbone,以一致优化提升整体效果。
- 时序一致性约束的思想可启发推荐中的兴趣演变建模,例如在长序列用户行为中引入连贯性正则,避免短期噪声冲击。